Theo các nhà nghiên cứu, vị trí Nhà Văn hóa Thanh Niên nguyên xưa là đất của Trường Hương Gia Định. Sách Đại Nam nhất thống chí, phần "Tỉnh Gia Định", mô tả trường thi này như sau: Trường có "chu vi 193 trượng 6 thước (khoảng 850 m), tường cao 4 thước 5 tấc (gần 2 m), ở địa phận thôn Nghĩa Hòa, phía tây tỉnh thành, dựng từ năm Tự Đức thứ nhất (1848), xây gạch".[1]

Đầu năm 1859, quân Pháp hạ thành Gia Định. Cho rằng thành quá rộng lớn, khó đóng giữ, quân Pháp cho nổ mìn triệt hạ ngôi thành và đóng quân tại Trường thi và các đền chùa rải rác từ Bến Nghé vào đến Chợ Lớn. Đầu năm 1861, Đại đồn Chí Hòa thất thủ. Ngày 5 tháng 6 năm 1862, đại diện triều đình vua Tự Đức là Phan Thanh Giản và Lâm Duy Hiệp đã ký hòa ước với Pháp ngay ở Trường thi Gia Định.

Sau khi chiếm trọn Nam Kỳ, từ năm 1867, Pháp bắt đầu tiến hành xây dựng các công trình dân sinh trên đất Sài Gòn. Trường thi cũng bị triệt hạ để nhường chỗ cho những công trình mới. Từ năm 1878, chính quyền thực dân Pháp cho xây dựng một hệ thống tháp nước để cung cấp nước cho cư dân thành phố. Những năm cuối thế kỷ XIX, chính quyền thực dân Pháp đã đào khoảng 10 giếng, về sau tăng lên 20 giếng nằm thành hình tròn bao quanh tháp nước trung tâm[2] để tăng khả năng cấp nước cho cư dân thành phố.

Trong các giếng đó, có một giếng nằm ngay trên vùng đất của trường thi Gia Định xưa, tức Nhà văn hóa Thanh niên nay. Giếng này có đường kính khoảng trên dưới 2m, sâu khoảng gần 20m. Thành giếng có đoạn xây gạch, có đoạn là ống bêtông cốt thép. Ngoài ra, bên cạnh giếng nước, khu vực trường thi Gia Định xưa còn có hai hồ chứa nước từ giếng bơm lên, mà nhiều người đoán định đó chính là hai sân rộng vẫn còn cho đến ngày nay trong khuôn viên Nhà văn hóa Thanh niên: sân 4A có cửa nằm trên đường Phạm Ngọc Thạch và sân tennis có cửa nằm trên đường Hai Bà Trưng. Dung tích chứa nước của mỗi hồ này thời xưa là 4.000m3.